Năm 1950, ông trở lại Trung Quốc công tác, làm Cục phó Cục Điều lệnh Tổng giám bộ huấn luyện Quân Giải phóng Nhân dân. Được xem là một trong 72 đại công thần Trung Quốc, ngay trong đợt phong quân hàm đầu vào ngày 27 tháng 9 năm 1955, ông được nhà nước Cộng hòa Nhân dân Trung Hoa phong quân hàm thiếu tướng. Ông cũng được chính phủ Trung Quốc tặng Huân chương Giải phóng hạng nhất. Ông được mệnh danh là Lưỡng quốc tướng quân (兩國將軍), là người Việt Nam duy nhất được phong quân hàm tướng của hai quốc gia độc lập.